如何存储和计算已接入物联网平台设备的数据

您所在的位置:网站首页 数字货仓 物联网怎么操作 如何存储和计算已接入物联网平台设备的数据

如何存储和计算已接入物联网平台设备的数据

2024-07-17 22:27| 来源: 网络整理| 查看: 265

分层存储

例如:物联网平台某家摩托⻋⼚商的客户每天产⽣约20 GB数据,按3年时间会产⽣21 TB数据。按照存储产品年费用预计在18万~28万不等,采⽤物联网平台归档存储,年费用不到1万元。如果客户需要分析数据,可以从归档存储中取回数据,假设取回全部21 TB数据,年费⽤预计5万元。更合理的方式是按照数据使⽤情况来规划备份⽣命周期和存储类型,同时切分⼀个归档存储和标准存储的时间范围,以达到成本最优存储⽅案。

如下所示存储规划:

image..png计算模式实时计算

为了满⾜物联⽹实时计算场景,物联网平台提供了实时数据解析功能,基本功能如下:

功能项

数据解析

数据源

支持解析设备数据源和API数据源。

时效性

实时地抽取和转化数据,延迟在秒级。

数据格式

支持JSON、ProtoBuf、Base64(to_JSON)和原始数据类型的数据格式。

计费

数据解析任务需要消耗数据处理单元(CU)。

⽀持的详细功能项如下表:

功能

节点

说明

输入

源节点

选择待处理数据的数据源。

自定义

源节点中数据源的Topic格式原始数据时,在源节点后会自动添加并连接自定义节点,用于配置自定义脚本解析原始数据。

处理

数据计算

根据源节点配置,自动匹配显示相关字段数据。

您可通过配置表达式,计算已有字段数据,来生成新字段数据。

数据过滤

配置过滤条件,指定只输出满足特定条件的数据。

值转化

配置判断条件,将解析任务中流转消息的某个字段的值,转化为另一个值,该值可以输出到原字段或新定义的字段。

数据聚合

类比为Flink SQL的窗口函数,将解析任务中流转消息的字段按照窗口进行聚合计算。

超时插值

在数据上报产生中断时,配置固定的策略进行补值,防止数据出现中断。

相邻消息计算

取当前消息与前一条消息中的同一数值字段的值(仅支持BIGINT、DOUBLE类型),按照定义的表达式进行计算,将计算的结果输出到定义的输出字段上。

输出

目标节点

将解析后的数据转入IoT实例Topic、IoT孪生引擎中使用,或IoT实例自定义存储表中存储。

选择在自定义存储表中存储时,根据处理功能节点的输出配置,自动匹配显示可输出的字段。您可根据需要删除、修改字段,完成最终输出结果配置。

详细使用内容,请参见数据解析。

交互查询

为了满⾜数据洞察分析,物联网平台提供了SQL⼯作台,可以直接在⼯作台上编写任意SQL脚本分析观察数据。

image..png

另外为满⾜物联⽹场景,在⼯作台上提供了可直接使用的物联网平台数据,具体如下表所示:

选项

说明

产品属性时序表

存储了设备上报至物联网平台的物模型属性、事件数据。

产品属性快照表

产品事件表

IoT孪生引擎时序表

存储了IoT孪生引擎对应孪生空间中孪生实体图中孪生节点的物模型属性数据。

IoT孪生引擎快照表

自定义存储表

存储了已完成自定义初始化配置的数据。即数据解析或SQL分析任务,调度任务后,输出至自定义存储表的数据。

平台系统表

存储了产品、设备、设备分组、设备标签和设备位置等基本信息。

详细使用内容,请参见SQL分析。

离线统计分析

SQL⼯作台编写的脚本完成了数据分析洞察,可以配置⼩时、⽇调度,物联网平台系统会定时产出SQL脚本的分析洞察结果。

image..png

详细使用内容,请参见设置任务调度策略。

⼈⼯智能分析

针对于特定场景,平台内置了⼈⼯智能算法模型,这些模型原⽣对接存储的数据,最⼤限度降低算法的使⽤⻔槛。

详细使用内容,请参见算法模板。

数据获取

针对分析洞察后数据,物联网平台提供了多种⽅式获取:

方式

说明

相关文档

免费报表

免费的可视化报表,可临时查看相关数据。

数据报表

云云对接

提供数据API,在业务系统使⽤相关数据。

数据API

数据集成

提供IoT Reader,通过企业数据仓库(DataWorks)集成相关数据。

数据集成

CSV导出

提供数据本地导出功能,可以按照时间段导出相关数据的CSV⽂件。

创建和管理自定义存储表



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3